Huyện Chợ Mới được thành lập ngày 6 tháng 7 năm 1998, trên cơ sở tách thị trấn Chợ Mới và 15 xã: Yên Cư, Yên Hân, Bình Văn, Như Cố, Quảng Chu, Nông Hạ, Nông Thịnh, Yên Đĩnh, Thanh Bình, Tân Sơn, Hòa Mục, Cao Kỳ, Thanh Mai, Thanh Vận, Mai Lạp thuộc huyện Bạch Thông.

Cuối năm 2019, huyện Chợ Mới có thị trấn Chợ Mới (huyện lỵ) và 15 xã: Bình Văn, Cao Kỳ, Hòa Mục, Mai Lạp, Như Cố, Nông Hạ, Nông Thịnh, Quảng Chu, Tân Sơn, Thanh Bình, Thanh Mai, Thanh Vận, Yên Cư, Yên Đĩnh, Yên Hân.

Ngày 10 tháng 1 năm 2020, sáp nhập thị trấn Chợ Mới và xã Yên Đĩnh thành thị trấn Đồng Tâm và sáp nhập hai xã Thanh Bình và Nông Thịnh thành xã Thanh Thịnh.[4]

Huyện Chợ Mới có 1 thị trấn và 13 xã như hiện nay.